The effect on the doze test of changes in deletion frequency

Although the pseudo-random cloze procedure has been in use for some twenty-five years as a measure of readability and reading comprehension, little research has been carried out into the effect ofdeleting words from text more or less frequently. This paper reports on an experiment in which the deletion frequency variable was systematically studied. Every 6th, 8th, I 0th and I 2th word was removed from three texts of difTering difficulty, and the effect studied. Significant differences among cloze tests resulted, but the differences were unpredictable. Deleting every 12th word did not necessarily result in an easier test than deleting every 6th’ 8th or 10th word. However, when only items identical to both cloze tests under consideration were compared, no significant differences were found. It appears that cloze items are, on the whole, unaffected by context greater than five words. Testers are warned that changing deletion frequency may result in a different measure of readability or comprehension. RESUMB L’gfet sur le test I Cloze des changements de la friquence de l’ilimination des mots Bien qu’on ait utilisk le prockdk de Cloze pseudo-hasardeux comme mesure de lisibilitk et de comprkhension en lecture pendant quelque vingtcinq ans, on a fait peu de recherches sur I’effet qu’a l’klimination d’un texte d’un nombre de mots plus ou moins important. Aprts une revue des recherches, y compris des exptriences de l’effet qu’ont des quantitts diverses de contexte sur la capacitk de prtdire des lettres et des mots, le rapport rend compte d’une exptrience od on a examink les frkquences variables de I’tlimination des mots. On a barrk un mot sur six, sur dixet sur douze dans trois textes de difficult6 diverse pour obtenir douze tests de Cloze. On a administrt ces doyze tests de Cloze A des tltves d’un collkge d’enseignement secondaire en Ecosse et A des tlkves qui faisaient des etudes au Royaume-Uni dont la langue maternelle n’ttait pas l’anglais; on a marque les rtsultats d’aprts cinq proctdts diffkrents. Des difftrences significatives se sont manifesttes parmi les tests de Cloze, mais les difftrences Ctaient contradictoires et impossibles A prkdire. La suppression d’un mot sur douze n’a pas ntcessairement donnk un test plus facile que la suppression d’un mot sur six, sur huit ou sur dix. Les rksultats ktaient essentiellement les memes pour les Anglais que pour les autres. Quand on a compark les risultats acquis sur le test de Gloze par les tltves ttrangers avec les rtsultats acquis sur un test standard de Compttence en anglais langue ttrangkre, on a trouvk que les corrtlations variaient considtrablement d’un test de Cloze A l’autre.